The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

Continual learning (CL) learns a sequence of tasks incrementally. There are two popular CL settings, class incremental learning (CIL) and task incremental learning (TIL). A major challenge of CL is catastrophic forgetting (CF). While a number of techniques are already available to effectively overcome CF for TIL, CIL remains to be highly challenging. So far, little theoretical study has been done to provide a principled guidance on how to solve the CIL problem. This paper performs such a study. It first shows that probabilistically, the CIL problem can be decomposed into two sub-problems: Within-task Prediction (WP) and Task-id Prediction (TP). It further proves that TP is correlated with out-of-distribution (OOD) detection, which connects CIL and OOD detection. The key conclusion of this study is that regardless of whether WP and TP or OOD detection are defined explicitly or implicitly by a CIL algorithm, good WP and good TP or OOD detection are necessary and sufficient for good CIL performances. Additionally, TIL is simply WP. Based on the theoretical result, new CIL methods are also designed, which outperform strong baselines in both CIL and TIL settings by a large margin.

我们将点隶属关系引入特征Upsmpling，这一概念描述了每个上采样点的隶属关系到具有语义相似性的本地解码器特征点形成的语义群集。通过重新思考点的隶属关系，我们提出了一种通用公式，用于产生上采样内核。内核不仅鼓励语义平滑度，还鼓励上采样的特征图中的边界清晰度。此类属性对于某些密集的预测任务（例如语义分割）特别有用。我们公式的关键思想是通过比较每个编码器特征点与解码器特征的空间相关局部区域之间的相似性来生成相似性感知的内核。通过这种方式，编码器特征点可以作为提示，以告知UPS采样特征点的语义集群。为了体现该配方，我们进一步实例化了轻巧的增加采样算子，称为相似性 - 吸引点隶属关系（SAPA），并研究其变体。 SAPA会在许多密集的预测任务上邀请一致的性能改进，包括语义分割，对象检测，深度估计和图像垫。代码可用：https：//github.com/poppinace/sapa

本文研究持续学习（CL）的逐步学习（CIL）。已经提出了许多方法来处理CIL中的灾难性遗忘（CF）。大多数方法都会为单个头网络中所有任务的所有类别构建单个分类器。为了防止CF，一种流行的方法是记住以前任务中的少数样本，并在培训新任务时重播它们。但是，这种方法仍然患有严重的CF，因为在内存中仅使用有限的保存样本数量来更新或调整了先前任务的参数。本文提出了一种完全不同的方法，该方法使用变压器网络为每个任务（称为多头模型）构建一个单独的分类器（头部），称为更多。与其在内存中使用保存的样本在现有方法中更新以前的任务/类的网络，不如利用保存的样本来构建特定任务分类器（添加新的分类头），而无需更新用于先前任务/类的网络。新任务的模型经过培训，可以学习任务的类别，并且还可以检测到不是从相同数据分布（即，均分布（OOD））的样本。这使测试实例属于的任务的分类器能够为正确的类产生高分，而其他任务的分类器可以产生低分，因为测试实例不是来自这些分类器的数据分布。实验结果表明，更多的表现优于最先进的基线，并且自然能够在持续学习环境中进行OOD检测。

随着深度学习模型和数据集的迅速扩展，网络培训非常耗时和资源成本。使用小型合成数据集学习并没有在整个数据集中进行培训，而是一种有效的解决方案。广泛的研究已在数据集凝结的方向上进行了探索，其中梯度匹配可以达到最先进的性能。梯度匹配方法在原始和合成数据集上训练时通过匹配梯度直接靶向训练动力学。但是，对该方法的原理和有效性进行了有限的深入研究。在这项工作中，我们从全面的角度深入研究了梯度匹配方法，并回答了什么，如何和何处的关键问题。我们建议将多级梯度匹配，以涉及类内和类间梯度信息。我们证明，距离函数应集中在角度上，考虑到同时延迟过度拟合的幅度。还提出了一种过度拟合的自适应学习步骤策略，以修剪不必要的优化步骤，以提高算法效率。消融和比较实验表明，与先前的工作相比，我们提出的方法具有优越的准确性，效率和概括性。

双层优化，尤其是基于梯度的类别，已在深度学习社区中广泛使用，包括超参数优化和元知识提取。 BI级优化将一个问题嵌入了另一个问题，基于梯度的类别通过计算超级级别来解决外部级别的任务，这比经典方法（例如进化算法）更有效。在这项调查中，我们首先对基于梯度的双层优化进行正式定义。其次，我们说明了如何将研究问题作为双层优化问题，这对于初学者来说是极大的实际用途。更具体地说，有两种公式：单任务公式，以优化超参数，例如正则化参数和蒸馏数据，以及用于提取元知识的多任务公式，例如模型初始化。然后，使用BI级公式，我们讨论了四个BI级优化求解器，以更新外部变量，包括显式梯度更新，代理更新，隐式函数更新和闭合形式更新。最后但并非最不重要的一点是，我们通过指出基于梯度的双层优化科学问题（AI4Science）的巨大潜力来结束调查。

我们提出了一个使用脑MRI的阿尔茨海默氏病（AD）检测的新型框架。该框架从称为脑感知替代品（BAR）的数据增强方法开始，该方法利用标准的脑部分割来替代与随机挑选的MRI锚固MRI中的医学相关的3D脑区域，以创建合成样品。地面真相“硬”标签也根据替换比的不同，以创建“软”标签。与其他基于混合的方法（例如CutMix）相比，BAR可产生各种各样的逼真的合成MRI，具有较高局部变异性。在酒吧之上，我们建议使用具有软标签能力的监督对比损失，旨在了解表示形式的相对相似性，这些相似性反映了使用我们的软标签的合成MRI的混合方式。这样，我们就不会充分耗尽硬标签的熵能力，因为我们只使用它们来通过bar创建软标签和合成MRI。我们表明，使用用于创建合成样品的硬质标签的跨凝结损失，可以通过跨凝性损失进行预训练的模型。我们在二进制广告检测任务中验证了框架的性能，以与从划伤的监督培训和最先进的自我监督培训以及微调方法进行验证。然后，我们通过将BAR的个人性能与另一个基于混合的方法CutMix进行了整合，从而评估了BAR的个人性能。我们表明，我们的框架在AD检测任务的精确度和回忆中都产生了卓越的结果。

基于强化学习（RL）的图表行走在导航代理人通过探索多跳关系路径来导航代理以通过不完整的知识图（kg）来自动完成各种推理任务。然而，现有的多跳推理方法仅在短路推理路径上工作，并且倾向于利用增加的路径长度错过目标实体。这对于实际情况中的许多理由任务是不可取的，其中连接源实体的短路不完整的公斤，因此，除非代理能够寻求更多的线索，否则推理性能急剧下降路径。为了解决上述挑战，在本文中，我们提出了一种双代理强化学习框架，该框架列举了两个代理（巨型和矮人），共同走过了公斤，并协同寻找答案。我们的方法通过将其中一个代理（巨型）进行了快速寻找群集路径并为另一代理（DWARF）提供阶段明智的提示来解决长途路径中的推理挑战。最后，对几千克推理基准测试的实验结果表明，我们的方法可以更准确，高效地搜索答案，并且优于大型余量的长路径查询的基于RL的基于RL的方法。

本文研究了情绪分类（SC）的持续学习（CL）。在此设置中，CL系统在神经网络中逐步了解一系列SC任务，其中每个任务构建分类器以对特定产品类别或域的评论的情绪进行分类。两个自然问题是：系统可以将过去的知识从以前的任务转移到新任务中，帮助它为新任务学习更好的模型吗？而且，先前任务的旧模型也在过程中得到改善？本文提出了一种称为KAN的新技术来实现这些目标。KAN可以通过前向和向后知识转移来显着提高新任务和旧任务的SC准确性。通过广泛的实验证明了KAN的有效性。

现有研究持续学习一系列任务，专注于处理灾难性遗忘，其中任务被认为是不同的，并且具有很少的共享知识。在任务相似并分享知识时，还有一些工作已经完成了将以前学到的新任务转移到新任务。据我们所知，没有提出任何技术来学习一系列混合类似和不同的任务，这些任务可以处理遗忘，并转发知识向前和向后转移。本文提出了这样的技术，用于在同一网络中学习两种类型的任务。对于不同的任务，该算法侧重于处理遗忘，并且对于类似的任务，该算法侧重于选择性地传送从一些类似先前任务中学到的知识来改善新的任务学习。此外，该算法自动检测新任务是否类似于任何先前的任务。使用混合任务序列进行实证评估，证明了所提出的模型的有效性。